Immersive Media Lab

Intermedia Motion Tracking in AR/VR (IMTA)

Laufzeit: 1.1.2020 - 31.12.2021 (covidbedingte Verlängerung)

Der Use Case Intermedia Motion Tracking in AR/VR (IMTA) baut eine "3D Mesh Motion Capture Storytelling Matrix“ mit Hilfe von Motion Capturing und Motion Tracking auf. Dafür werden die Räumlichkeiten des Immersive Media Labs medientechnologisch hinsichtlich der optimalen technischen Integration und in Bezug auf die räumliche Dimension adaptiert und operationalisiert. Mittels Motion Capture Anzügen, 3D Scanner und in Kooperation mit einer professionellen Tänzerin werden choreographierte Körperbewegungen, Gesten, Bewegungsabläufe und „Choreografische Muster“ festgelegt, digitalisiert und als Storytelling Bewegungspfade analysiert. Das Verhältnis von Körper und Raum im Allgemeinen sowie Körperstellung, Elastizität, Geschwindigkeit und Rhythmik in Bezug auf den Gesamtkörper im Raum soll als choreographisches Substrat in Form einer digitalen Handlungsspur archiviert und in Immersive Storytelling Szenarien überführt werden.

Die aufgezeichneten und hinsichtlich ihrer Performanz archivierten Körper-Bewegungspfade werden kontextualisiert und im Hinblick auf Erzählstrukturen gewichtet. Die gewonnenen Daten werden in einer 3D Bewegungsdatenbank, einem „Avatar“ Archiv, abgelegt und systematisch verfeinert. Das Archiv dient als Datenspeicher für Bewegungsdaten und versteht sich als „Storytelling Matrix“. Die Spur des Körpers erzählt als Bewegung eine Geschichte im Raum, schreibt einen narrativen Code in diesen. Dieser Code kann als vielfältiger Layer für unterschiedliche Immersive Storytelling Guidelines analysiert, evaluiert und adaptiert werden. 

Ziele:

  • Aufbau einer “3D Mesh Motion Capture Storytelling Matrix
  • Datenaufzeichnung von Motion Capture und Tracking Daten als „3D Scan Mesh“ 
  • Prototypische Untersuchung von bewegten Körpern (Gesten, Routinen, Charakteristik, Individualität) 
  • Entwicklung einer MoCap Storytelling Datenbank  

Methoden:

  • Recherche zu Motion Tracking und Capturing als Storytelling 
  • Adaption des Immersive Media Labs zu einer immersiven AR/VR Storytelling Raumkonfiguration 
  • Aufnahme von Bewegungsdaten 
  • Prototypische Untersuchung von bewegten Körpern 
  • Entwicklung eines Parameterkatalogs und einer Motion Capture Datenbank  
  • Evaluation der Ergebnisse in Form einer öffentlichen Präsentation (Körperperformance) 

Das Projekt findet in Kooperation mit der Tänzerin und Choreographin Andrea Nagl statt. Das Team dankt Univ. Prof. Karlheinz Essl für seine Open Source Library.

Use Case Leiter

  • Stellvertretender Studiengangsleiter Digital Design (MA)
  • FH-Dozent
  • Department Medien und Digitale Technologien
T: +43/676/847 228 620

Team

  • Junior Researcher
    Forschungsgruppe Media Creation
    Institut für Creative\Media/Technologies
  • Department Medien und Digitale Technologien
T: +43/2742/313 228 649
  • Junior Researcher
    Forschungsgruppe Media Creation
    Institut für Creative\Media/Technologies
  • Department Medien und Digitale Technologien
  • Junior Researcher
    Forschungsgruppe Media Creation
    Institut für Creative\Media/Technologies
  • Department Medien und Digitale Technologien